Năm 1850, ông thi đỗ Cử nhân ở trường Nam, năm sau vào dự thi Hội ở Huế nhưng không đỗ. Tuy nhiên, ông vẫn được triệu ra làm quan dưới triều Nguyễn thời Tự Đức.

Đầu tiên, ông được bổ làm giáo thụ huyện Đoan Hùng, rồi thăng Tri châu Tuần Giáo. Trong dịp này, ông đã viết cuốn Hưng Hóa ký lược vào năm 1856 với bút danh là Quan Thành.

Năm 1857, ông được cử về làm tri châu Quế Dương, rồi thăng tri phủ Lạng Giang, một thời gian lại được thăng lên quan tỉnh, giữ trải các chức: Bang biện tỉnh vụ kiêm Đồn điền sứ, Án sát sứ, Bố chính sứ Bắc Ninh rồi quyền Tổng đốc Bắc Ninh.

Năm 1870-1871, ông tham gia diệt trừ thổ phỉ vùng biên giới trung du. Đến năm 1873, khi Pháp đánh ra Bắc Kỳ, ông được cử đi tiếp quản các tỉnh và cắt đặt quan chức lâm thời, sau đó về giữ chức quyền Tuần phủ Hà Nội. Năm 1874, ông được cử làm Tuần phủ Bắc Ninh, mở cuộc hành quân tiễu phạt thổ phỉ trên biên cương phía Bắc thắng lợi. Đến năm 1875, ông được cử làm Hộ lý cho Hiệp đốc Tôn Thất Thuyết, coi sóc việc hành chính hai tỉnh Bắc Ninh - Thái Nguyên, đóng ở Thái Nguyên.

Năm 1876, Phạm Thận Duật được triệu về Huế làm Tham tri Bộ Lại, kiêm Phó Đô sát ngự sử, được 4 tháng lại ra Bắc giữ chức Hà đê sứ, đôn đốc việc đắp đê Sông Hồng và chuyên lo về thuỷ lợi. Năm 1878, ông được sung vào Viện cơ mật, sư bảo (thầy dạy) cho hai Hoàng tử con nuôi vua Tự Đức là Dục Đức và Chánh Mông, sau lại sung Quốc sử quán, Phó Tổng tài, kiêm quản Quốc tử giám, Tổng kiểm duyệt và in ấn bộ sử "Khâm định Việt sử thông giám cương mục" sau khi được vua Tự Đức duyệt biểu "Cáo thành" của ông vào ngày 19 tháng 9 năm 1884.